ChatGPT plugins のベータ提供が開始され、約70種類のプラグインが利用可能になりました
05/16 追記：waitlistを待たずとも使えるようになります
こんにちは、CX事業本部 Delivery部の若槻です。
今回は、ChatGPT plugins のベータ提供が開始されていたので、現在利用可能なプラグインと、実際に試してみた内容についてご紹介します。
ChatGPT plugins とは
ChatGPT UI 上で 3rd-party アプリケーションを利用できるようにする機能です。
プラグインを追加することにより、ChatGPT に対して次のような機能拡張を行うことができます。
- リアルタイムな情報の取得（例：スポーツのスコア、株価、最新ニュースなど）
- プライベートなナレッジベースからの情報取得（例: 社内ドキュメント、個人的なメモなど）
- チャットベースのアクション代行（例: 航空券の予約、フードの注文など）
各社が ChatGPT 向けのプラグインをこぞって開発するようになれば、ChatGPT がツールの枠を超え一種のプラットフォームになることが予想されますね。開発者コミュニティも生まれたりより発展したりするでしょう。OpenAI 社もそれらを狙って機能開発の 3rd-party 解放を行ったのだと考えられます。
（05/16 追記）公式のリリースノートはこちら。
利用条件
現在、ChatGPT plugins は以下の条件を満たす少数のユーザーのみ利用可能になっています。
- ChatGPT Plus ユーザーであること。
- ChatGPT plugins waitlist に登録し、アクセス権を割り当てられること。
私の場合は、いつ waitlist に登録したのかは覚えていませんが、本日 ChatGPT でプラグイン機能を有効化可能になっていることに気が付きました。特にメールなどの連絡はありませんでした。
05/16 追記
5/13 に公式ツイッターアカウントより次のツイートがありました。（見逃していました）
We’re rolling out web browsing and Plugins to all ChatGPT Plus users over the next week! Moving from alpha to beta, they allow ChatGPT to access the internet and to use 70+ third-party plugins. https://t.co/t4syFUj0fL pic.twitter.com/Mw9FMpKq91
— OpenAI (@OpenAI) May 12, 2023
(日本語訳)
来週中に、すべての ChatGPT Plus ユーザーに Web ブラウジングとプラグインを展開します。アルファ版からベータ版に移行すると、ChatGPT がインターネットにアクセスし、70 以上のサードパーティ プラグインを使用できるようになります。
waitlist を待たなくても、次週にはすべての ChatGPT Plus ユーザーで ChatGPT plugins が利用可能になるようです！
利用可能なプラグイン
現時点で私のアカウントでは以下の 69 種類のプラグインが利用可能になっていました。（人によるのか中には 80 種類近く使える人もいるらしいです）
私の環境で利用可能となっていたプラグイン一覧（原文）は下記となります。Tabelog（食べログ）含めプラグインの説明文はすべて英語となっていましたが、後述の通り質問・回答ともに日本語に対応しています。
クリックして展開
| Name | Description |
|---|---|
| Tabelog | Allows you to find restaurants in Japan that have availability for reservations. |
| AskYourPDF | Unlock the power of your PDFs!, dive into your documents, find answers, and bring information to your fingertips. |
| BlockAtlas | Search the US Census! Find data sets, ask questions, and visualize. |
| One Word Domains | Check the availability of a domain and compare prices across different registrars. |
| Wishbucket | Unified product search across all Korean platforms and brands. |
| MixerBox OnePlayer | Unlimited music, podcasts, and videos across various genres. Enjoy endless listening with our rich playlists! |
| Ambition | Search millions of jobs near you. |
| DEV Community | Plugin for recommending articles or users from DEV Community. |
| CreatiCode Scratch | Display Scratch programs as images and write 2D/3D programs using CreatiCode Scratch extensions. |
| Wahi | Hey Ontario, ask and get so in the know on the latest listings, property insights and more. |
| Hauling Buddies | Locate dependable animal transporters using recommendations, reviews, and regulatory compliance search features. |
| Golden | Get current factual data on companies from the Golden knowledge graph. |
| Tutory | Access affordable, on-demand tutoring and education right at your fingertips. |
| Wolfram | Access computation, math, curated knowledge & real-time data through Wolfram|Alpha and Wolfram Language. |
| Yabble | Your ultimate AI research assistant; create surveys, specify audiences, collect data & analyze. |
| KeyMate.AI Search | Search the web by using a Custom Search Engine with KeyMate.AI, your AI-powered web search engine. |
| Shimmer: Nutrition Coach | Track meals & gain insights for a healthier lifestyle from 1m+ restaurants & grocery stores. |
| Speak | Learn how to say anything in another language with Speak, your AI-powered language tutor. |
| Coupert | Search for the internet’s best coupons from thousands of online stores. |
| edX | Find courses and content from leading universities to expand your knowledge at any level. |
| SEO.app | Your personal SEO assistant for content marketing. |
| Yay! Forms | Allows you to create AI-Powered Forms, Surveys, Quizzes, or Questionnaires on Yay! Forms. |
| Change | Discover impactful nonprofits to support in your community and beyond. |
| Manorlead | Get a list of listings for rent or sale in cities across Canada and the US based on your search criteria. |
| AITickerChat | Retrieve USA stock insights from SEC filings as well as Earnings Call Transcripts. |
| Expedia | Bring your trip plans to life – get there, stay there, find things to see and do. |
| Chess | Unleash your inner chess master with this interactive chess experience! You can play against a novice or a grandmaster! |
| VoxScript | Enables searching of YouTube transcripts, financial data sources, and Google Search results, and more! |
| Weather Report Data | Current weather data for cities and airports using METAR aviation feeds. |
| Turo | Search for the perfect Turo vehicle for your next trip. |
| Instacart | Ask about recipes and discover the ingredients you need—then get it all delivered from local stores. |
| Bohita | Create apparel with any image you can describe! Get it delivered right to your door. |
| Zillow | Your real estate assistant is here! Search listings, view property details, and get home with Zillow. |
| Giftwrap | Ask about gift ideas for any occasion and recipient. Get it wrapped and delivered, no address needed. |
| Savvy Trader AI | Realtime stock, crypto and other investment data. |
| Video Insights | Interact with online video platforms like Youtube or Daily Motion. |
| GetYourGuide | Find tours, excursions and other travel activities you can book on GetYourGuide. |
| Crafty Clues | Guess the words that the AI craftily clues for you. Add restrictions to make the game more interesting! |
| Open Trivia | Get trivia questions from various categories and difficulty levels. |
| Tasty Recipes | Discover recipe ideas, meal plans and cooking tips from Tasty's millions of users! |
| FiscalNote | FiscalNote enables access to select market-leading, real-time data sets for legal, political, and regulatory information |
| Vivian Health | Take the first step to finding your next healthcare job. |
| Polarr | Search Polarr's massive pool of user generated filters to make your photos and videos perfect. |
| BizToc | Search BizToc for business & finance news. |
| Diagram It | Create and edit diagrams directly in chat. |
| KAYAK | Search flights, stays & rental cars or get recommendations where you can go on your budget. |
| Prompt Perfect | Type 'perfect' to craft the perfect prompt, every time. |
| PortfolioPilot | Your AI investing guide: portfolio assessment, recommendations, answers to all finance questions. |
| Glowing | Schedule and send daily SMS messages - reminders, inspiration, helpers and more. |
| Redfin | Have questions about the housing market? Find the answers to help you win in today's market. |
| Algorithma | Shape your virtual life with in this immersive life simulator game to begin Type /start to begin. |
| ndricks Sports | Get information about pro teams (NHL, NBA, NFL, MLB) teams by calling the ndricks Software Sports API. |
| Likewise | Your media and entertainment companion. Get TV, Movies, Books & Podcast Recommendations. |
| Zapier | Interact with over 5,000+ apps like Google Sheets, Gmail, HubSpot, Salesforce, and thousands more. |
| KalendarAI | KalendarAI sales agents generate revenue with potential customers from 200+ million companies globally. |
| OpenTable | Allows you to search for restaurants available for booking dining experiences |
| Rentable Apartments | Get apartment options in a city of your choice, scoped to your needs and budget. |
| ChatWithPDF | Plugin for asking questions, analyzing, and parsing through PDF documents by simply providing a PDF URL. |
| Noteable | Create notebooks in Python, SQL, and Markdown to explore data, visualize, and share notebooks with everyone. |
| Cloudflare Radar | Get real-time insights into Internet traffic patterns and threats as seen by Cloudflare. |
| Word Sneak | The AI has to sneak 3 secret words into your conversation. Guess the words to win the game! |
| Klarna Shopping | Search and compare prices from thousands of online shops. |
| Kraftful | Your product development coach. Ask about best practices. Get top gurus’ product thinking. |
| WebPilot | Browse & QA webpage / generate articles, from one or more URLs |
| Speechki | The easiest way to convert texts to ready-to-use audio — download link, audio player page, or embed! |
| Shop | Search for millions of products from the world's greatest brands. |
| Comic Finder | A plugin that finds a relevant comic given a description. Currently supports XKCD and SMBC comics. |
| Keyplays Live Soccer | Latest live soccer standings, results, commentary, tv stations, keyplays (with and without scores). |
| Lexi Shopper | Get product recommendations from your local Amazon store. |
また上記プラグイン一覧の Description を日本語訳し、下記の通り利用目的ごとに分類してみました。
飲食店予約
| Name | Description (日本語訳) |
|---|---|
| Tabelog | 日本のレストランを検索し、予約可能な場所を見つけることができます。 |
| OpenTable | ダイニング体験を予約可能なレストランを検索することができます。 |
タスク効率化
| Name | Description (日本語訳) |
|---|---|
| AskYourPDF | PDFの力を引き出します！ドキュメントを探索し、答えを見つけ、情報を手元に持つことができます。 |
| Yay! Forms | Yay! Forms上でAIパワードのフォーム、調査、クイズ、アンケートを作成することができます。 |
| Glowing | 日常的なSMSメッセージをスケジュールし、送信します - リマインダー、インスピレーション、ヘルパーなど。 |
| Zapier | Google Sheets、Gmail、HubSpot、Salesforceなど、5,000以上のアプリと対話します。 |
| ChatWithPDF | PDFのURLを提供するだけで、PDFドキュメントの質問、解析、解析を行うプラグイン。 |
| Speechki | テキストをすぐに使えるオーディオに変換する最も簡単な方法 - ダウンロードリンク、オーディオプレイヤーページ、または埋め込み！ |
eコマース
| Name | Description (日本語訳) |
|---|---|
| Wishbucket | 韓国のすべてのプラットフォームとブランドを統一した製品検索。 |
| Coupert | インターネット上の最高のクーポンを何千ものオンラインストアから検索します。 |
| Instacart | レシピを尋ねて必要な材料を発見し、それらを地元の店から配達してもらいます。 |
| Bohita | あなたが説明する任意の画像でアパレルを作成します！それを直接あなたのドアに配達します。 |
| Giftwrap | あらゆる場面や受取人のためのギフトアイデアを尋ねます。ラッピングして配送します、住所は必要ありません。 |
| Klarna Shopping | 数千のオンラインショップから価格を検索し、比較します。 |
| Shop | 世界の最高のブランドから何百万という製品を検索します。 |
| Lexi Shopper | あなたの地元のAmazonストアからの製品の推奨を得ます。 |
音楽
| Name | Description (日本語訳) |
|---|---|
| MixerBox OnePlayer | さまざまなジャンルの無制限の音楽、ポッドキャスト、ビデオ。豊富なプレイリストで無限のリスニングをお楽しみください！ |
求人、求職
| Name | Description (日本語訳) |
|---|---|
| Ambition | 近くの数百万の仕事を検索します。 |
| Tutory | 手頃な価格のオンデマンドの家庭教師と教育をすぐに利用できます。 |
| Vivian Health | 次の医療職への第一歩を踏み出します。 |
ソフトウェア開発
| Name | Description (日本語訳) |
|---|---|
| CreatiCode Scratch | Scratchプログラムを画像として表示し、CreatiCode Scratchの拡張機能を使用して2D/3Dプログラムを作成します。 |
| Diagram It | チャットで直接ダイアグラムを作成し、編集します。 |
| Noteable | データを探索し、ビジュアライズし、ノートブックを全員と共有するためにPython、SQL、Markdownでノートブックを作成します。 |
クリエイティブ
| Name | Description (日本語訳) |
|---|---|
| Polarr | Polarrの大規模なユーザー生成フィルタープールを検索し、あなたの写真やビデオを完璧にします。 |
不動産
| Name | Description (日本語訳) |
|---|---|
| Wahi | オンタリオ州の方、最新の物件情報、不動産の洞察などを尋ねて詳しく知ることができます。 |
| Manorlead | あなたの検索基準に基づいてカナダや米国の都市で販売または賃貸のためのリストを取得します。 |
| Zillow | あなたの不動産アシスタントがここにいます！物件を検索し、物件詳細を見て、Zillowで家を手に入れます。 |
| Rentable Apartments | あなたのニーズと予算に合わせた都市のアパートメントオプションを取得します。 |
知識、教養
| Name | Description (日本語訳) |
|---|---|
| Wolfram | Wolfram|AlphaとWolfram Languageを通じて計算、数学、キュレーションされた知識、リアルタイムデータにアクセスします。 |
| edX | 主要な大学からのコースやコンテンツを見つけて、あなたの知識をどのレベルでも拡大します。 |
| Open Trivia | さまざまなカテゴリーや難易度のトリビアの質問を取得します。 |
データ収集、分析
| Name | Description (日本語訳) |
|---|---|
| Yabble | 究極のAIリサーチアシスタント；調査を作成し、対象者を特定し、データを収集して分析します。 |
| BlockAtlas | 米国の国勢調査を検索します！データセットを見つけ、質問をし、ビジュアライズすることができます。 |
| Weather Report Data | METAR航空フィードを使用して、都市や空港の現在の天候データ。 |
| Cloudflare Radar | Cloudflareが見るインターネットのトラフィックパターンと脅威に関するリアルタイムの洞察を取得します。 |
情報検索
| Name | Description (日本語訳) |
|---|---|
| KeyMate.AI Search | KeyMate.AI、あなたのAIパワードのウェブ検索エンジンを使用してウェブを検索します。 |
| VoxScript | YouTubeの書き起こし、金融データソース、Google検索結果などを検索することが可能です。 |
| Video Insights | YoutubeやDaily Motionなどのオンラインビデオプラットフォームと対話します。 |
| Prompt Perfect | 'perfect'をタイプして毎回完璧なプロンプトを作成します。 |
| WebPilot | 一つまたは複数のURLからウェブページを閲覧・QAし、記事を生成します。 |
健康、医療
| Name | Description (日本語訳) |
|---|---|
| Shimmer: Nutrition Coach | 100万以上のレストランや食料品店から食事を追跡し、より健康的なライフスタイルのための洞察を得ます。 |
| Tasty Recipes | Tastyの何百万人ものユーザーからレシピのアイデア、食事の計画、料理のヒントを発見します！ |
語学
| Name | Description (日本語訳) |
|---|---|
| Speak | SpeakというAIパワードの言語チューターで何でも別の言語で言い方を学びます。 |
SEO
| Name | Description (日本語訳) |
|---|---|
| SEO.app | コンテンツマーケティングのための個人的なSEOアシスタントです。 |
非営利活動
| Name | Description (日本語訳) |
|---|---|
| Change | コミュニティやその先でサポートするための影響力のある非営利団体を見つけます。 |
投資
| Name | Description (日本語訳) |
|---|---|
| AITickerChat | SECの提出書類や収益通話の書き起こしからUSAの株式洞察を取得します。 |
| Savvy Trader AI | リアルタイムの株式、暗号通貨、その他の投資データ。 |
| PortfolioPilot | あなたのAI投資ガイド：ポートフォリオ評価、推奨事項、全ての金融質問への回答。 |
| Redfin | 住宅市場についての質問がありますか？現在の市場で勝つための答えを見つけます。 |
旅行、モビリティ
| Name | Description (日本語訳) |
|---|---|
| Expedia | 旅行の計画を実現します - 行き方、滞在方法、観光地や活動を見つけます。 |
| Turo | 次の旅行に最適なTuro車両を検索します。 |
| GetYourGuide | GetYourGuideで予約できるツアーやエクスカーション、その他の旅行活動を見つけます。 |
| KAYAK | フライト、滞在先、レンタカーを検索するか、予算内で行ける場所の推奨を取得します。 |
ゲーム
| Name | Description (日本語訳) |
|---|---|
| Chess | この対話型チェス体験で内なるチェスマスターを解き放ちます！初心者やグランドマスターに対してプレイすることができます！ |
| Crafty Clues | AIがあなたに巧妙にヒントを出す単語を推測します。制限を加えてゲームをもっと面白くします！ |
| Algorithma | この没入型ライフシミュレーターゲームであなたの仮想生活を形作ります。開始するには/startを入力します。 |
| Word Sneak | AIが3つの秘密の単語をあなたの会話に紛れ込ませます。単語を当てるとゲームに勝ちます！ |
マーケティング
| Name | Description (日本語訳) |
|---|---|
| FiscalNote | 法的、政治的、規制情報のための選択された市場をリードするリアルタイムデータセットへのアクセスを可能にします。 |
| KalendarAI | KalendarAIの営業員が200+の世界の企業からの見込み客と収益を上げます。 |
| Golden | Goldenの知識グラフから現在の事実データを企業に取得します。 |
| Kraftful | あなたの製品開発コーチ。ベストプラクティスについて尋ねてみてください。トップの専門家の製品思考を得ます。 |
ニュース
| Name | Description (日本語訳) |
|---|---|
| BizToc | BizTocでビジネス&ファイナンスニュースを検索します。 |
スポーツ
| Name | Description (日本語訳) |
|---|---|
| ndricks Sports | ndricks Software Sports APIを呼び出してプロのチーム（NHL、NBA、NFL、MLB）の情報を取得します。 |
| Keyplays Live Soccer | 最新のライブサッカーの順位、結果、解説、テレビ局、キープレー（スコアあり・なし）。 |
メディア、エンターテイメント
| Name | Description (日本語訳) |
|---|---|
| Likewise | メディアとエンターテイメントのコンパニオン。テレビ、映画、書籍、ポッドキャストの推奨を取得します。 |
| Comic Finder | 説明から関連するコミックを見つけるプラグイン。現在、XKCDとSMBCのコミックをサポートしています。 |
その他
| Name | Description (日本語訳) |
|---|---|
| One Word Domains | ドメインの利用可能性を確認し、さまざまなレジストラー間で価格を比較します。 |
| DEV Community | DEV Communityからの記事やユーザーを推薦するプラグイン。 |
| Hauling Buddies | 推奨事項、レビュー、規制遵守検索機能を使用して、信頼できる動物輸送業者を見つけます。 |
こうしてみると ChatGPT は様々なジャンルのサービスでの活用可能性があることが分かりますね。
試してみた
実際に ChatGPT plugins を試してみます。
ChatGPT plugins の有効化
ChatGPT plugins は既定では機能が無効になっています。
Settings -> Beta features より Plugins をオンにすれば機能を有効化できます。
プラグインのインストール
ChatGPT plugins が有効な場合は、GPT-4 でのチャット開始時にプラグインの利用有無をメニューから設定できます。（GPT-3.5 ではこのメニューはありません）
前述の Plugins から遷移したメニューで利用したいプラグインを選択できます。ここでは過去に利用したプラグイン一覧（履歴）と、Plugin store メニューが表示されます。
Plugin store メニューです。ここから利用したいプラグインを選択してインストールます。
プラグインを利用してみる
食べログ（Tabelog）のプラグインをインストールして利用してみます。
Tabelog プラグインにチェックマークが付きました。
しかしプラグインの利用方法の記述やリンクはどこにもありません。そこで ChatGPT に質問してみます。
食べログプラグインの使い方を教えて
すると使い方の回答を返してくれました。（ChatGPT plugins を有効化すると、ChatGPT のアイコンの色が紫になるんですね）
もちろんです、食べログプラグインは、特定のキーワード、予約日時、予約人数から予約可能なレストランを検索するためのツールです。以下に詳細を説明します。
1. **free_keyword**: ここには検索キーワードを入力します。エリア、ジャンル、シチュエーション、レストラン名など、日本語のみ対応しています。
2. **reservation_datetime**: 予約したい日時を指定します。形式は "yyyy-mm-ddThh:mm:ss.000+09:00" となります。デフォルト値は現在の日付で、19:00前の時間は19:00に、19:00後の時間は最も近い30分単位に切り上げられます。表示する際は、人間が理解しやすい形式で表示します。
3. **reservation_member**: 予約したい人数を指定します。デフォルト値は2人です。
これらの情報を用いて、食べログプラグインは予約可能なレストランを検索します。検索結果が空の場合は、再度検索を行います。また、各レストランについては一度だけリッチプレビューを出力します。最後に、詳細を見るためのURLも出力します。
以下に、食べログプラグインを使用してレストランを検索する例を示します。
Tabelog.vacancySearch({
free_keyword: "東京 フレンチ",
reservation_datetime: "2023-05-20T19:00:00.000+09:00",
reservation_member: "2"
})
この例では、2023年5月20日19時に2人で予約可能な、東京のフレンチレストランを検索しています。
何かプラグインごとの入力フォームがあるという訳ではなく、ChatGPT plugins でも従来のコンソールを使うようです。
上記回答の JSON を質問として入力してみると、Tabelog による回答の生成が開始されました。
回答は次のようになりました。入力した情報に基づき、予約可能なレストランが5つ提示されました。
回答上部の Used Tabelog を開くと、プラグイン利用時のリクエストおよびレスポンスが確認できます。
ちなみに食べログで台湾まぜそばのお店を探してのような自然文でも Tabelog プラグインを利用できました。質問の文章を自動で解釈し API へのリクエストに割り当てる仕組みもあるようです。
その他
チャットごとにインストールするプラグインを選択できる
チャットごとにインストールするプラグインを選択できます。
また、1つのチャットに複数のプラグインをインストールすることもできます。
Tabelog プラグインをインストールしていないチャットでは、Tabelog プラグインのリクエストを認識できなくなります。
チャットを用途ごとに分けている使い方をしている方がほとんどだと思うので、目的ごとに利用するプラグインを選択できるのは便利ですね。
開始済みのチャットではプラグインの設定を変更できない
開始済みのチャットでプラグインをインストールしたり、インストール済みのプラグインを削除したりする設定は見当たりませんでした。
GPT バージョンの選択と同じく、プラグインについても開始済みのチャットでは設定を変更できないようです。
プラグインの開発
ChatGPT plugins のプラグイン開発者向けのドキュメントはこちらです。
今回は詳しくは触れませんが、開発は次のようなステップで行います。
- API の構築
- OpenAPI 仕様でのドキュメントの作成
- マニフェストファイルの作成および登録
開発にあたりサンドボックス環境は利用できるのか？また登録できるプラグインの審査はあるのか？など気になる点は多々あるので、自分でも触ってみたいと思います。
おわりに
ChatGPT plugins のベータ提供が開始されていたので、現在利用可能なプラグインと、実際に試してみた内容についてご紹介しました。
以前までは ChatGPT の拡張する方法といえば、ChatGPT API を利用してスクラッチでアプリを開発するか、ChatGPT UI に対応したブラウザ拡張を使うかの2択でしたが、今後は公式プラグインの提供が主流になっていくのではないでしょうか。ChatGPT から引き続き目が話せません。
以上
![[レポート]ChatGPTに内製エンジンのシェーダーやシーケンスを作らせてみた #CEDEC2024 #classmethod_game](https://devio2024-media.developers.io/image/upload/v1724594584/user-gen-eyecatch/ysn4cginxxukgmqdeejz.png)
